Quán có từ rất lâu đời, có lẽ từ trước công nguyên. Tương truyền, lúc đầu đây là nơi tu hành của một nhà sư, thừa tướng Lữ Gia nhà Triệu qua đấy thấy tiên ngồi đánh cờ rồi bay lên trời bèn sai dựng quán.

Đời Trần Minh Tông, con gái vua Trần là Thái Trưởng công chúa cầu tự linh nghiệm nên vua Trần cho trùng tu lớn, sau dân đắp tượng vua thờ ở tiền đường.

Đời Mạc đạo giáo thần tiên thịnh hành, các vương tộc Mạc về quán tu hành nhiều, thậm chí Quán được xoay hướng từ Tây nam sang Đông bắc như hiện nay cũng từ đời này, người để lại dấu ấn trùng tu lớn nhất là Đà Quốc Công Mạc Ngọc Liễn và Vợ.

Khi xoay lại hướng gác chuông vốn ở trước của chùa, nay lại thành ra sau lưng chùa nên chùa không giống kiểu "tiền gác chuông, hậu gác khánh " như các chùa quán thường thấy. Các giếng đào đan sa vốn trước sân cũ, sau khi quay hướng đã nằm ở dưới các bệ thờ như hiện nay.

Thời Lê sơ, quán đã từng là nơi khắc ván in ra nhiều sách kinh.